Learning to Act under Noise: Enhancing Agent Robustness via Noisy Environments
噪声环境下行动学习：通过带噪交互增强智能体鲁棒性
🧭 Agent 鲁棒训练 · 噪声注入与课程调度 ★ 深度解读
National University of Singapore · Meituan · Tsinghua University · Tianjin University · University of Science and Technology of China
在 Agent RL 训练中模拟用户与工具侧噪声，结合混合轨迹与课程调度，显著提升现实噪声下的性能与泛化能力。
📌 工作参考价值（4 点）
- 在训练电商客服或推荐 Agent 时，可人工构造模糊/不一致/冗余的用户指令，以及工具返回错误、不完整或误导信息，让模型在训练中就接触真实噪声模式。
- 采用混合轨迹训练：每 batch 中保留一部分干净轨迹，部分加入噪声，并在组内分别归一化优势，避免噪声样本主导梯度更新。
- 按性能差距（∆）动态调整噪声：当模型在噪声与干净环境下的成功率差低于阈值时，增大噪声比例与难度，形成平稳的课程学习，防止初期训练崩溃。
- 即使最终只关心干净环境下的表现，这种训练仍可作为隐式数据增强，提升 Agent 的泛化推理与纠错能力，在标准 benchmark 上也能获得稳定增益。